Ngôn ngữ lập trình song song

Ngôn ngữ lập trình tương tác, thư viện, APIs, và các mô hình lập trình song song (như thuật toán Skeletons) đã được xây dựng cho các máy tính lập trình song song. Những thứ này có thể được chia thành các lớp dựa trên những giả thuyết chúng tạo ra về kiến trúc bộ nhớ cơ bản—bộ nhớ chia sẻ, bộ nhớ phân tán, hay DSM. Các ngôn ngữ lập trình chia sẻ bộ nhớ giao tiếp bằng cách điều khiển các biến chia sẻ bộ nhớ. Bộ nhớ phân tán sử dụng truyền tin. POSIX Threads và OpenMP là hai trong số các API phổ biến nhất sử dụng bộ nhớ chia sẻ, trong khi Giao diện truyền tin (MPI) là API sử dụng hệ thống truyền tin nổi bật nhất.[39] Một khái niệm được sử dụng trong chương trình lập trình song song là Khái niệm tương lai, khi một phần của chương trình hứa hẹn sẽ mang lại dữ liệu cần thiết cho một phần khác ở một thời điểm trong tương lai.

Song song hóa tự động

Song song hóa tự động của một chương trình tuần tự bởi trình biên dịch là holy grail của tính toán song song. Mặc dù các nhà nghiên cứu trình biên dịch đã làm việc hàng thập kỷ, song song hóa tự động vẫn chỉ đạt được những thành công giới hạn.[40]

Các ngôn ngữ lập trình song song có thể là song song hiện hoặc (tốt nhất) ngầm một phần, trong đó các lập trình viên chỉ thị trình biên dịch song song hóa. Cũng có một vài ngôn ngữ lập trình song song ngầm hoàn toàn tồn tại—SISAL, song song Haskell, và Mitrion-C (cho FPGAs).

Tạo điểm kiểm tra ứng dụng

Các máy tính càng lớn và càng phức tạp thì càng dễ sai và thời gian giữa các thất bại càng ngắn. Tạo điểm kiểm tra ứng dụng là kỹ thuật mà hệ thống máy tính tạo một "bản ghi nhanh" của ứng dụng—một bản ghi của tất cả các phân bổ tài nguyên và trạng thái của biến ở thời điểm đó, giống như một kết xuất bộ nhớ; thông tin này có thể được sử dụng để khôi phục lại chương trình nếu máy tính bị gặp sự cố. Tạo điểm kiểm tra ứng dụng có nghĩa là chương trình chỉ phải khởi động lại từ điểm kiểm tra cuối cùng chứ không phải từ đầu. Đối với ứng dụng có thể chạy trong hàng tháng, điều này rất quan trọng. Tạo điểm kiểm tra ứng dụng có thể được sử dụng cho xử lý di chuyển thuận lợi.